On the Limits of LLM Adaptability: Impact of Model-Internalized Priors on Annotation Task Performance
LLM适用性边界：内部先验对标注任务性能的影响
🧭 LLM零样本标注评估与分析
California Institute of Technology
发现LLM标注错误难以通过提示纠正，定义匹配比文本记忆更关键
📌 工作参考价值（4 点）
- 在电商评论分类、商品描述标注等场景，单纯通过修改提示纠正LLM错误可能无效，应优先确保标注定义的语义与模型内部概念对齐，而非依赖表层提示工程。
- 引入DSF（Definition-Specific Familiarity）概念，可在设计标注任务时量化定义匹配度，提前评估LLM的适应性，减少后续人工修正成本。
- 高置信度的错误尤其顽固，直接重标注难以改变，建议结合主动学习筛选低置信度样本再进行人工复核，节省资源。
- 避免依赖文本相似度（如ROUGE-L、BERTScore）作为记忆指标去预测模型表现，可能产生误导，应转向定义层面的对齐检查。